Parallel Language Models via Variational Decoding
基于变分解码的并行语言模型
🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读
University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute
用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速
📌 工作参考价值（4 点）
- 在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
- 辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
- 偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
- 工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。